Cụ thân sinh ra ông là một nhà nho nghèo, cụ mất sớm khi ông mới 2 tuổi đời.
Mẹ ông một mình tần tảo nuôi con ăn học đến khi ông tốt nghiệp bậc Cao đẳng tiểu học[29], rồi mở lớp học và trở thành vị hương sư cách mạng đầu tiên ở địa phương.
Năm 1942, ông lập gia đình với bà Vũ Thị Soạn (1920-2011), ông bà có ba người con trai: Bùi Tiến Dũng (1943), Bùi Vinh (1950) và Bùi Minh Khánh (1960)- cả ba đều phục vụ trong quân đội và đã nghỉ hưu.
